De eerste, bij naam gekende heer van Westerlo, was graaf Ansfried die leefde in de tweede helft van de tiende eeuw. Na de dood van zijn vrouw werd hij monnik en later bisschop van Utrecht. Hij schonk Westerlo als aandeel aan het kapitel van Utrecht. Door Utrecht werd de heerlijkheid verder in erfleen gegeven aan de Brabantse familie van Wesemael.
De Heren van Wezemaal legden rond 1300 de grondvesten van het huidige kasteel, de donjon of woontoren werd rond die tijd opgetrokken in ijzerzandsteen. Zij kozen daarvoor een strategische plaats op ongeveer 80 meter van de Grote Nete, te midden van lage landen, ideaal voor een waterburcht. In 1482 kwam het kasteel in handen van de familie de Merode in de persoon van Jan II. En in 1620 kocht de familie de Merode de eigendoms-rechten af. Sindsdien is het domein onafgebroken in het bezit geweest van deze adellijke familie.
In het midden van de zestiende eeuw werd voor de slottoren het huidige binnenplein aangelegd, ommuurd en voorzien van de halfronde poorttoren. In de 18de eeuw werden de hoektorens aan twee zijden door de huidige vleugels verbonden en moesten van het kasteel een aangename residentie maken. Momenteel wordt het kasteel nog steeds bewoond door afstammelingen van het oude geslacht de Merode.